package com.gsm.watermark;

import com.gsm.bean.WaterSensor;
import com.gsm.functions.WaterSensorMapFunction;
import org.apache.commons.lang3.time.DateFormatUtils;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

/**
 * TODO
 *
 * @author gsm
 * @version 1.0
 */
public class d1_WatermarkMonoDemo {

    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);


        SingleOutputStreamOperator<WaterSensor> sensorDS = env
                .socketTextStream("localhost", 7777)
                .map(new WaterSensorMapFunction());


        // TODO 1.定义Watermark策略
        WatermarkStrategy<WaterSensor> watermarkStrategy = WatermarkStrategy
                // 1.1 指定watermark生成：升序的watermark，数据都是升序的 , 没有乱序
                .<WaterSensor>forMonotonousTimestamps()
                // 1.2 指定 时间戳分配器，从数据中提取
                .withTimestampAssigner(new SerializableTimestampAssigner<WaterSensor>() {
                    @Override
                    public long extractTimestamp(WaterSensor element, long recordTimestamp) {

                        // 返回的时间戳，要毫秒
                        System.out.println("数据=" + element + ",recordTs=" + recordTimestamp);

                        return element.getTs() * 1000L;
                    }
                });

        // TODO 2. 指定 watermark策略
        SingleOutputStreamOperator<WaterSensor> sensorDSwithWatermark =
                sensorDS.assignTimestampsAndWatermarks(watermarkStrategy);


        sensorDSwithWatermark.keyBy(sensor -> sensor.getId())
                // TODO 3.使用 事件时间语义(Watermark才能起作用) 的窗口
                .window(TumblingEventTimeWindows.of(Time.seconds(10)))
                .process(
                        new ProcessWindowFunction<WaterSensor, String, String, TimeWindow>() {

                            @Override
                            public void process(String s, Context context, Iterable<WaterSensor> elements, Collector<String> out) throws Exception {

                                long startTs = context.window().getStart();
                                long endTs = context.window().getEnd();

                                String windowStart = DateFormatUtils.format(startTs, "yyyy-MM-dd HH:mm:ss.SSS");
                                String windowEnd = DateFormatUtils.format(endTs, "yyyy-MM-dd HH:mm:ss.SSS");

                                long count = elements.spliterator().estimateSize();

                                out.collect("key=" + s + "的窗口[" + windowStart + "," + windowEnd + ")包含" + count + "条数据===>" + elements.toString());
                            }

                        }
                )
                .print();

        env.execute();
    }

}

/*
测试

nc -lp 7777
s1,1,1
s1,2,2
s1,3,3
s1,4,4
s1,5,5
s1,6,6
s1,10,10            这条输入时候会触发窗口关闭并计算 [0 , 10) 注意: s1,10,10不在[0 , 10)
s1,20,20            这条输入时候会触发窗口关闭并计算 [10 , 20)

 */


//在 Apache Flink 中，recordTimestamp 参数表示的是记录在进入 Flink 算子之前已经分配的时间戳。
//        这个值通常由数据源决定，如果数据源没有为记录分配时间戳，那么 recordTimestamp 将会是一个默认值，
//        通常是一个表示最小时间戳的常量 -9223372036854775808（即 Long.MIN_VALUE），
//        这也就是你在代码中看到的情况。
//
//当你使用 withTimestampAssigner 方法来指定一个时间戳分配器时，
//        实际上是在告诉 Flink 应该如何从每个元素中提取时间戳。
//        在这个过程中，recordTimestamp 参数通常不会被使用，因为你的目的是覆盖它，
//        用从元素中提取出的时间戳来替代它。
//
//所以，在你的例子中，recordTimestamp 始终显示为 -9223372036854775808 是正常的，
//        这意味着数据源没有给这些记录设置时间戳。
//        你真正关心的应该是 element.getTs() * 1000L 这个表达式的结果，
//        这是你实际用来作为水印的时间戳值。
//
//总结一下，recordTimestamp 显示为 -9223372036854775808
//        只是因为数据源没有设置时间戳，而你通过 withTimestampAssigner
//        提供了时间戳的正确来源，即 WaterSensor 对象中的 ts 字段。
//        只要你的 extractTimestamp 方法能够正确地返回时间戳，那么 Flink 的水印机制就可以正常工作。